Brunet chào đời tại Belfort, sau là vùng Grand Est miền đông nước Pháp. Cha là một bác sĩ thú y quân sự. Ông tốt nghiệp trường École Polytechnique năm 1859, và gia nhập trường pháo binh, tốt nghiệp với cấp bậc trung úy vào năm 1861.

Brunet tham gia vào cuộc Can thiệp của Pháp ở México từ tháng 8 năm 1862 đến tháng 6 năm 1864, và nhận được huy chương Légion d'honneur vào tháng 10 năm 1864. Năm 1863, ông được cử đến Trung đoàn Ngựa Pháo binh danh giá thuộc đội Vệ binh Đế chế.